Sina App Engine(简称SAE)是新浪研发中心于2009年上旬开始内部开发,并在2009年11月3日正式推出第一个Alpha版本的国内首个公有云计算平台,SAE是新浪云计算(简称浪云)战略的核心组成部分。
简介
同时又由于SAE整体架构的高可靠性和新浪的品牌保证,大大降低了开发者的
运营风险。另外,作为典型的云计算,SAE采用“所付
即所用,所付仅所用”的计费理念,通过日志和统计中心精确的计算每个应用的资源消耗(包括CPU、内存、磁盘等)。
总之,SAE就是分布式Web服务的开发、运行平台。
核心优势
SAE的基本目标用户有两种,一种是Web开发者,另一种是普通互联网上网人群。
对于Web开发者,SAE带来的好处有:
· 硬件成本更低,无需预先购买设备,承担更大的投入风险
·
开发成本更低,SAE提供许多服务供开发者使用,开发者无需重复开发,包括队列、数据库、
缓存、定时、
验证码、计数器,几乎覆盖了Web开发的所有领域。另外对于特定开放平台的开发者,比如新浪微博开发者,SAE已经集成了完整的OpenAPI的封装,将开发者的开发成本降到最低。值得一提的是,SAE的开发者目前已经形成了良好的交流氛围,在意见反馈中心、SAE官方群,SAE官方
微群可以看到很多热情的开发者在一起共同提高
· 运维成本更低,在SAE上的应用无需关心硬件维护、服务监控、
数据容灾等操作,SAE会通过其高可靠的架构和方便的监控页面为用户将运维成本降到最低扩展性更强,在SAE上的服务无需关心服务压力猛增时带来的扩容等操作,SAE自动支持服务扩展
· 更加安全可靠,SAE自动提供SQL语句性能分析、前端防攻击、代码检查等功能,在SAE上的所有应用均为多机房
容灾部署,比传统的部署模式更加安全可靠,并且SAE提供服务的
SLA来实现对用户服务质量的承诺
对于普通上网人群,使用SAE可以:
使用推荐应用一键安装Web应用,普通用户无需会编码,也可以在瞬间拥有自己的团购、博客、微博、
Wiki等
SAE整体架构
SAE从架构上采用分层设计,从上往下分别为
反向代理层、路由逻辑层、Web计算服务池。而从Web计算服务层延伸出SAE附属的分布式计算型服务和分布式存储型服务,具体又分成同步计算型服务、异步计算型服务、持久化存储服务、非持久化存储服务。各种服务统一向日志和统计中心汇报,参考图1:
7层
反向代理层:HTTP反向代理,在最外层,负责响应用户的HTTP请求,分析请求,并转发到后端的Web服务池上,并提供
负载均衡、健康检查等功能。
服务路由层:逻辑层,负责根据请求的唯一标识,快速的映射(O(1)
时间复杂度)到相应的Web服务池,并映射到相应的硬件路径。如果发现映射关系不存在或者错误,则给出相应的错误提示。该层对用户隐藏了很多具体地址信息,使开发者无需关心服务的内部实际分配情况。
Web服务池:由一些不同特性的Web服务池组成。每个Web服务池实际是由一组Apache(PHP)组成的,这些池按照不同的
SLA提供不同级别的服务。每个Web服务进程实际处理用户的
HTTP请求,进程运行在HTTP服务沙盒内,同时还内嵌同样运行在SAE沙盒内的PHP解析引擎。用户的代码最终通过接口调用各种服务。
日志和统计中心:负责对用户所使用的所有服务进行统计和资源计费,并设定的分钟配额,来判定是否有非正常的使用。分钟配额描述了资源消耗的速度,当资源消耗的速度到达一个预警
阈值时,SAE通知系统会提前向用户发出一个警告,提醒用户应用在某个服务上的使用可能存在问题,需要介入关注或处理,配额系统是SAE用来保证整个平台稳定的措施之一;日志中心负责将用户所有服务的日志汇总并备份,并提供检索查询服务。
各种分布式服务:SAE提供几乎可以覆盖Web应用开发所有方面的多种服务,用户可以通过StdLib(可以理解为SAE PHP版的STL)很方便的调用它们。
线路特性
220.181.129.126
220.181.129.121
220.181.136.229
220.181.136.230
http接口方需要IP授权可以进行相应的设置。
SAE的功能
开发:
· 代码检查,帮助检查不良函数并帮助移植
· 代码部署
· 分布式文件存储
· 分布式缓存
· 各种附属分布式服务,包括图像、定时、任务队列、邮件、计数器等
· 对接多个开放平台,如新浪微博开发平台
· 数据库优化,通过RDC提供
运营:
· 应用打包,通过我们的应用向导进行推广
· 日志,包括访问日志、错误日志等
· 资源报表,消耗SAE各项资源的统计
· 服务监控,监控各项服务状态
提供服务及特性
SAE提供的服务
SAE目前已经提供了十多种服务,整体上分为计算型和存储型,计算型又包括同步计算和
异步计算,而存储型则分为持久化存储和非持久化存储。具体列表如下:
两大特性:扩展性与可靠性
· 扩展性
SAE在服务的
可扩展性上基本是动态可扩展性的思路,即资源和ID没有强对应关系,用户以服务使用者的身份使用SAE服务。
· 可靠性
在计算可靠性方面,SAE主要是依靠多点部署来完成可靠性,多节点的计算一致性上,SAE有
分布式锁服务提供比Paxos更好的容错逻辑。
在数据可靠性方面,SAE的所有数据都通过冗余存储来达到
SLA。SAE通过主动复制和被动复制来实现多点
数据冗余。
和虚拟主机区别
· 传统服务托管面向的是硬件软件设备,使用者得到的也是设备的使用权;而SAE面向的服务,使用者得到的是服务的使用权。
· 传统服务托管不面向开发者,开发者无法在其上享受到开发的乐趣;而SAE的一个重要用户就是web developer,开发者可以在其上通过在线调试、日志分析、协作共享等功能进行web开发。
· 传统服务托管不提供分布式系统解决方案;而SAE提供的完整的分布式
web服务的解决方案,其中不仅仅包括
分布式数据库、
分布式文件系统,更包括分布式
定时器系统、网页抓取服务、图像处理服务等。
· 传统服务托管不解决域名问题,用户往往烦恼于
域名申请;而SAE的用户将自动得到在sinaapp下的二级域名,同时SAE还支持域名
cname。
· 传统服务托管无法保证
SLA(Service Level Agreement),硬件故障的成本基本由使用者承担;而SAE保证用户的SLA,用户的web服务自动享有高冗余的前端服务器、享有自动负载均衡系统、服务自动扩展、服务自动收缩等功能。
· 传统的服务托管采用
预付费的方式,费用固定且和实际使用情况无直接关系;而SAE采用预充值方式,“所付即所用,所付仅所用”,web服务的一切损耗均提供报表查询和账单汇总,让用户一目了然。
SAE公有云计算和传统的虚拟主机的区别如下表。
开发原因
Sina App Engine项目始于2009年8月,目标为云计算时代的分布式
web服务提供一整套解决方案。我们开发SAE主要是出于对内、对外两方面考虑:
对内,新浪很早以前就开始了关于私有云的开发和实践,所以为了进一步提高公司资源的利用率,更加提高web开发的效率,降低web运营的成本,决定了我们要开发SAE。
对外,亚马逊、
Google都是国外的成功的提供公有云计算服务的公司,SAE也想借助云计算这样一个趋势,为国内广大用户提供云计算的
分布式web服务的开发、运行平台。
目标和发展
云计算虽然是个新名词,但实际在国外已经有4、5年的历史。2006年,亚马逊就推出了以EC2为代表的公有云计算,并且已经实现了大规模盈利;2008年,
Google则推出了以Google App Engine为代表的公有云计算。国内的云计算却一直是炒的很厉害,各大互联网公司都在宣传,但真正有技术实力做出来而又对外公开使用的少之又少。
实际从2004年开始,新浪就开始了私有云方向的研究和实践,以此为基础的动态应用平台已经支撑新浪内部的绝大部分业务。从2008年起,新浪又启动了“浪云”的公有云计算计划,相继开发了分布式队列服务、P2P文件系统、分布式计算框架等一系列基础服务。实际SAE就是“浪云”战略的产物。
SAE从架构设计和代码编写开始,就明确了自身的两个目标:
· 做公有云计算平台。
公有云不同于私有云,更强调安全性和可靠性,这也对整体的架构设计和技术实现提出了更苛刻的要求
· 为
分布式Web服务提供一整套的解决方案。SAE争取提供开发者开发Web应用过程中所用到的所有服务。
经过技术团队一年的开发,SAE已经提供了十多种服务,整体上分为计算型和存储型,计算型又包括同步计算和异步计算,而存储型则分为持久化存储和非持久化存储。具体列表如下:
SAE在2009年11月3日发布了alpha1版本,2010年2月1日发布了alpha2版本,2010年9月1日发布了beta版本,2011年5月17日正式开放注册。